TRACER:面向 LLM Agent 的轨迹感知工具检索
🧭 Agent 工具检索与轨迹条件化 ★ 深度解读
Microsoft
利用历史工具调用轨迹的 trie 索引和状态自适应双先验混合,在保持准确率的同时大幅降低工具选择上下文成本
📌 工作参考价值(5 点)
- 在电商客服 Agent 中,可将历史成功调用轨迹构建为 trie,按当前执行前缀(如已调用 get_user_details)约束下一步候选工具,把工具选择从独立检索变为序列预测,减少无关工具干扰。
- 对每个转移边存储历史对话嵌入,计算当前上下文与该嵌入的 cosine 相似度,能区分描述相似但用途不同的工具(例如退货标签 vs 退货操作),避免模型误选危险操作。
- 使用轻量线性头学习每个状态的混合权重 w 和温度 T,动态调节经验先验(转移频率)与上下文先验(语义相似度)的重要性,比固定权重(如 α=0.5)更鲁棒,尤其适合工具分布不均匀的注册表。
- 若注册表中存在大量与状态无关的通用工具(如 KB_search、grep),可引入一个小型全局工具集 G(按前缀熵选取 top 工具)作为兜底,能显著提升召回。
- 工程实现上,trie 索引和边记忆查询开销极低,可完全离线构建,在线只需前缀查找和点积计算,适合大规模工具注册表的高并发场景。
RATED:基于执行动态的可靠性感知 AI Agent 工具检索
🧭 Agent 工具检索 · 在线可靠性适应 ★ 深度解读
Texas Tech University
融合对比微调双塔检索与 discounted LinUCB 在线重排,将工具故障选择率从 86% 降至 3%
📌 工作参考价值(4 点)
- 解耦语义与可靠性:用冻结的语义检索器(DRAGON)产出 top-K 候选,再做轻量在线重排,避免每次工具故障都重训大模型;电商 Agent 中大量 API/下游服务频繁上下线,这种架构能快速响应。
- discounted LinUCB per tool:为每个工具维护独立线性模型,用折扣因子 γ=0.95 下权旧反馈,快速适应工具失效;协方差矩阵保持对角,更新和推理都是 O(d),单步开销 <0.2ms,适合高并发在线服务。
- 冷启动先验:从工具目录元数据(名称-描述一致性、来源可信度、文档质量)自动计算静态可靠性分数,初始化 bandit bias,新工具上线无历史数据也能合理排序;电商工具库也可用类似信号(如 API 文档完整度、供应商信誉)做初始质量分。
- 融合权重默认值:语义 0.75、bandit 0.15、静态先验 0.10 在 20% 故障率下效果最佳,可直接作为业务调参起点。
工具检索器被低估:标注扩展揭示真实能力
🧭 工具检索评估 · 标注扩展
Shenzhen International Graduate School, Tsinghua University · Peking University · Meituan, Beijing
提出ToolEX自动发现功能等效工具组合,扩展基准为ToolEQ,证明一对一标注系统性低估检索器,微调增益中30-47%是评估伪迹
📌 工作参考价值(4 点)
- 评估召回/检索系统时,若 query 存在多个等价结果(如同义商品、替代品、功能相同工具),单一 ground truth 会低估模型;可借鉴 ToolEX 做等价扩展,构建更公平的测试集,避免误杀有效召回。
- 微调收益评估需警惕标注缺陷:论文发现 30-47% 的微调提升是评估伪迹。建议上线前用扩展后的多正例评估集复测,量化真实增量,尤其当训练数据与测试标注同源时。
- ToolEX 自动发现等价工具组合的流程(生成候选 + 功能等价验证)可迁移到电商搜索/推荐:对同一 query 挖掘多条等价商品、广告或服务组合,用于多正例学习或评估鲁棒性。
- 如果业务中做 Agent 工具检索或 API 推荐,注意同一功能通常有多个实现,检索评估与训练不能基于一对一的刚性标注,需支持一对多映射。
丰富-检索-排序:超越上下文路由的规模化能力发现
🧭 Agent 能力发现 · 检索-重排 ★ 深度解读
Amazon AGI
将 Agent 能力发现重构为离线丰富+在线检索-重排,在 7,278 个工具上以约一半成本领先 Search&Pick 6.5pp,并比全量上下文便宜 70 倍
📌 工作参考价值(4 点)
- 如果业务里要用 LLM 从上千个 API/agent/tool 中选调用,不要让它读全量 registry:改为 BM25+dense 召回 top-15,再单次 LLM listwise rerank。这样成本与 registry 规模解耦;Nova Micro 扫描显示单阶段全量路由在 N≈500 后崩,可作为架构切换的经验阈值。
- 离线把稀疏的 item/tool 元数据改写成结构化 profile(summary、action-led description、keywords、正/负 usage examples)一次完成,供检索和 reranker 共用。干净公开数据上 enrichment 无收益(甚至 -4.4pp),但元数据只剩 name 时 Match@1 +25.6pp、Recall@15 0.134→0.467;先评估自家商品/工具 metadata 稀疏度再决定是否上。
- 做错误归因:约70%的大规模 miss 在 retrieval,换更强 reranker 只 +3pp。优先提升一阶段召回(hybrid、更好 dense encoder、字段加权)而不是继续优化 reranker prompt。
- 打分信号可设计成可插拔加权:LLM 0.50 + BM25 0.05 + Quality 0.30 + Intent 0.15,字段缺失自动 renormalize;在有 trust/type 元数据时 Quality+Intent 额外 +4.5pp。这种统一配置可以跨 tools/agents/skills 复用,避免每种能力单独调参。
工具技能检索失败:可执行能力检索中的源风格坍缩
🧭 Agent 工具检索的源风格坍缩与路由 ★ 深度解读
University of Manchester · University of Sheffield · Shanghai University of Finance and Economics
固定工具库下 dense retriever 会因 query 源风格偏移而覆盖崩溃,TF-IDF 路由+少样本修复可显著恢复覆盖。
📌 工作参考价值(4 点)
- 在多源工具库/API 注册中心上线前,用 query-side TF-IDF 质心距离对流量做源风格监控,设置 safe/unsafe band 做路由护栏,成本极低且能避免线上 candidate coverage 崩溃。
- 不要用 naive 混合训练或平衡重加权来解决多源 drift,它会损害原本匹配源的覆盖;更划算的做法是保留多个 retriever checkpoint,做 source-aware routing,并对 mismatched 流量用 20 条左右 matched examples 做短时继续微调。
- 检索层是 agent 执行链路的入口,评估时优先看 coverage 或 coverage-weighted top-1 proxy,而不是只看 covered query 上的 reranker 精度;未覆盖 query 必须直接记为失败,否则会掩盖系统风险。
- 把工具/API 重渲染成标准化 skill card 并不能消除源风格坍缩,说明问题在 query-tool pairing 习惯和措辞分布,而不只是 schema 格式;做 skill 库时不要把格式归一化当成语义漂移修复。
工具并非孤岛:基于超边预测的LLM Agent集合级工具检索
🧭 Agent工具检索的集合级重定义与超图建模 ★ 深度解读
Shanghai Jiao Tong University · The Hong Kong Polytechnic University
将工具检索重构为查询条件超边预测,以工具集合整体为单位评分,并捕捉基数依赖的工具交互
📌 工作参考价值(4 点)
- 把工具集当作整体来打分:在电商 Agent 场景(如比价+下单+物流查询)中,不要只按单个 API 相关性召回,可参考 HYSET 的超边预测思想,对候选工具子集做联合评分,直接优化「工具集合是否完整覆盖任务」指标。
- 用基数特异性交互矩阵捕捉工具间依赖:多工具任务中,工具之间的互补性随集合规模变化。可以用一组按集合大小索引的交互矩阵(即 M2, M3, M4 …)来建模这种动态依赖,参数开销远小于显式高阶张量。
- 执行反馈可作为弱监督信号:即使只有部分标注数据,也可以在线采集工具调用链的最终任务成功与否作为奖励,通过 reward-weighted self-training 持续优化检索模块,尤其适合随时新增 API 的电商工具库。
- 两阶段推理兼顾效率与集合评分:先用轻量双编码器做 top-K 初筛,再用集合重排序在缩减后的空间里显式对比不同大小、不同组合的候选工具集,推理延迟可控(12 ms/query),可直接嵌入生产级 Agent 管线。
MagicSelector:反事实分解与渐进重排的Agent工具选择联合优化
🧭 Agent工具检索与任务分解优化 ★ 深度解读
HONOR
提出反事实任务分解、自蒸馏重排和动态Top-K,联合优化Agent工具检索,显著提升精度和效率
📌 工作参考价值(4 点)
- 反事实奖励可迁移至电商搜索的query分解/意图识别模块,避免在复杂多意图query下生成无关子查询,通过量化分解对下游召回/排序的边际增益提供因果级训练信号。
- 自蒸馏难负例挖掘与渐进式重排(先点式后列表式)可直接用于广告/商品相似品区分,迭代挖掘高分不相关样本,增强模型对功能相似物品的细粒度判别力。
- 双语义边界感知的动态Top-K截断策略可应用于推荐系统的召回后过滤,自适应截断候选集,减少大模型推理时的token消耗和上下文噪声,避免固定K导致的关键物品遗漏。
- 多轮交互过程级标注数据集构建思路可迁移至对话推荐场景的评估,提供更细粒度的诊断能力,定位是上下文理解、意图分解还是检索环节失效。
PlanBench-XL:大规模工具生态中LLM Agent长期规划评估基准
🧭 Agent 长期规划评估 · 大规模工具检索
University of Illinois Urbana-Champaign
在1665个工具的零售任务基准上,揭示LLM Agent在检索受限与动态阻塞下长期规划能力的严重退化
📌 工作参考价值(4 点)
- 电商Agent常需在大量API/工具中选择与组合,本基准中的迭代式工具检索-调用-发现子目标范式可直接用于设计推荐/搜索Agent的规划流程,尤其需要将工具描述检索与规划解耦,避免一次性暴露全量工具。
- 阻塞机制模拟了真实服务不可用、返回异常或误导性工具,建议在Agent开发中注入工具调用异常处理与自适应模块,如动态替换失败工具、延长尝试路径,并显式标记错误信号以降低恢复难度。
- 实验发现Agent在缺乏明确错误信号时极易崩溃,值得在业务Agent中强制要求工具返回标准化状态码与可读错误信息,并训练模型利用这些信号重规划。
- 该基准的“长期任务→子目标推断→中间证据收集”闭环,为电商场景中多步推荐(如先查用户画像→再查商品库存→组合优惠规则→生成推荐)提供了可测试的评价范式,可参照构建内部鲁棒性测试集。
CoHyDE:密集编码器与LLM改写器的迭代联合训练用于工具检索
🧭 Agent工具检索 · 联合训练编码器与HyDE改写器 ★ 深度解读
SAP Labs
通过多轮交替更新,让编码器和LLM改写器在检索任务中协同进化,解决查询与API目录的词汇鸿沟
📌 工作参考价值(4 点)
- 联合训练改写器与编码器:在电商搜索或Agent工具检索中,可借鉴交替迭代的训练范式,用检索分数直接指导改写器优化,使查询描述与商品/工具表示空间对齐,缓解词汇不匹配问题。
- DPO以检索效果为奖励信号:无需外部标注,直接使用编码器的NDCG分数构建偏好对训练改写器,实现端到端的闭环优化,可应用于生成式推荐中的查询改写或商品描述生成。
- 预热与风格适配:先独立训练编码器(用真实查询-物品对)和改写器(用物品目录多格式文本),再进入联合循环,可快速获得领域适应能力,降低冷启动成本。
- 多轮协同进化:逐步增加轮次可稳定提升跨分布能力,尤其适合电商搜索中口语化查询与商品标题之间的语义对齐,模糊查询改善显著(+6.3pp NDCG@5)。